Bà là con út của cách mạng Nga Sergei Alliluyev, một công nhân đường sắt, và vợ Olga, một phụ nữ gốc Đức và Gruzia, người nói tiếng Nga với một giọng mạnh mẽ.Sergei Alliluyev là người Nga nhưng đã tìm được việc làm và một ngôi nhà thứ hai ở vùng Kavkaz. Trong thời gian sống lưu vong của Stalin, gia đình Alliluyev là một nguồn hỗ trợ và tị nạn, và trong năm 1917, Stalin đã thỉnh thoảng sinh sống trong căn hộ của họ.